▽POLYPHONET Survey ●11/06 19:04 [0] Getting Aligned on Representational Alignment (2023)Ilia Sucholutsky, Lukas Muttenthaler, Adrian Weller, Andi Peng, Andreea Bobu, Been Kim, Bradley C. Love, Erin Grant, Iris Groen, Jascha Achterberg, Joshua B. Tenenbaum, Katherine M. Collins, Katherine L. Hermann, Kerem Oktar, Klaus Greff, Martin N. Hebart, Nori Jacoby, Qiuyi Zhang, Raja Marjieh, Robert Geirhos, Sherol Chen, Simon Kornblith, Sunayana Rane, Talia Konkle, Thomas P. O'Connell, Thomas Unterthiner, Andrew K. Lampinen, Klaus-Robert M〓ller, Mariya Toneva, Thomas L. Griffiths2023Princeton U., Google DeepMind, Google Research, UCB, MIT UCL, etc認知科学、神経科学、機械学習の研究領域における表現のアラインメントが重要である。ここでは、統一的なフレームワークを提供する。GoogleNA[1] Curiosity-Driven Learning of Joint Locomotion and Manipulation Tasks (2023)Clemens Schwarke, Victor Klemm, Matthijs van der Boon, Marko Bjelonic, Marco Hutter2023ETH Zurich, Switzerland報酬を作り込まない。タスクが成し遂げられたときには+1の報酬。内的な動機が、探索を疎な報酬のほうに向ける。ランダムネットワーク蒸留(RND)というアイディアを採用し、移動と操作の両方を含む動きの方策を学習する。(なので、ドアを押しながら開けるとかできる。)GoogleNA[2] Large Language Models Understand and Can be Enhanced by Emotional Stimuli[3] The Impact of Depth and Width on Transformer Language Model Generalization[4] GPT-4 Technical Report (2023)[5] NUWA-XL: Diffusion over Diffusion for eXtremely Long Video Generation (2023)[6] FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios (2023)[7] Explaining grokking through circuit efficiency (2023)[8] Language Modeling Is Compression (2023)[9] Physion: Evaluating Physical Prediction from Vision in Humans and Machines (2021)[10] RT-1: Robotics Transformer for Real-World Control at Scale (2022)[11] Multimodal Foundation Models: From Specialists to General-Purpose Assistants (2023)[12] Do Language Models Know When They’re Hallucinating References? (2023)[13] Chain-of-Verification Reduces Hallucination in Large Language Models (2023)[14] RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (2023)Harrison Lee, Samrat Phatale, Hassan Mansoor, Kellie Lu, Thomas Mesnard, Colton Bishop, Victor Carbune, Abhinav Rastogi[15] Scaling Forward Gradient With Local Losses (2023)NYU, Google, Vector Inst.前方勾配のアルゴリズムを、多くの局所貪欲損失関数を導入することで改善した。MLPMixerに触発された新しいアーキテクチャである局所混合器(LocalMixier)を提案する。MNISTやCIFAR-10での誤差逆伝播に匹敵し、誤差逆伝播を使わない従来手法を凌駕する。トークン混合、チャネル混合、ReLUを繰り返す残余ブロックのアーキテクチャの途中に、局所損失を入れる。[16] Teach LLMs to Personalize -- An Approach inspired by Writing Education (2023)Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Benderskyマルチステージでマルチタスクのスレ‐無ワークで、LLMを個人化生成のために教える。書くタスクは通常、見つける、評価する、要約する、合成する、統合するというような複数のステップから成る。我々のアプローチも、検索、ランク、要約、合成、生成というステージからなる。主観的な本の感想文のようなものを出力できる。Google[17] Better Zero-Shot Reasoning with Role-Play Prompting (2023)Aobo Kong, Shiwan Zhao, Hao Chen, Qicheng Li, Yong Qin, Ruiqi Sun, Xin Zhou南開大学, Lenovo Research, etc.ロールプレイングの能力について調査。12の異なる推論ベンチマークで検証。ロールプレイプロンプティングは、通常のゼロショットのアプローチで多くの場合上回る。思考の連鎖トリガーを引くのではないか。数学の先生ですとか、クイズの挑戦者ですとか。(人ですらなく)コインやレコーダーですとか。[18] DayDreamer: World Models for Physical Robot Learning (2022)UCBDreamerは良い性能を示すが、物理的なロボットで早い学習が可能か良く分かっていなかった。本研究では、Dreamerを使って、4つのロボットをオンラインと実世界で訓練する。[19] Qwen-VL: A Frontier Large Vision-Language Model with Versatile Abilities (2023)Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren ZhouAlibaba大規模な視覚言語モデル。9.6Bパラメータ。学習のさせ方(事前学習、マルチタスク事前学習、教師ありファインチューニング)が書かれている。[20] Retrieval meets Long Context Large Language Models (2023)Peng Xu, Wei Ping, Xianchao Wu, Lawrence McAfee, Chen Zhu, Zihan Liu, Sandeep Subramanian, Evelina Bakhturina, Mohammad Shoeybi, BryanNVIDIA検索拡張と、長いコンテキストは、どちらがダウンストリームタスクに良いのか。両者のいいとこ取りはできるか。43BのGPTとLLaMA2-70Bを用いて検証する。4Kのウィンドウで検索拡張したものは、16Kのウィンドウで位置の内挿をしたファインチューニング済みのモデルと同等である。さらに、検索は、コンテキストウィンドウの大きさに関わらず、LLMの性能を大きくあげる。[21] Large Language Models for Software Engineering: Survey and Open Problems (2023)Xinyi Hou, Yanjie Zhao, Yue Liu, Zhou Yang, Kailong Wang, Li Li, Xiapu Luo, David Lo, John Grundy, Haoyu Wang華中科技大学, Monash U., SMU, etcサーベイ論文。RQ1: ソフトウェアエンジニアリング(SE)のタスクを解くのにどのLLMが使われているか。RQ2: SEに関連したデータセットはどのように集められ前処理され使われているか。RQ3: SEのためのLLMにはどのような技術が最適化や評価のために使われているか。RQ4: SEのためのLLMを使ってどのようなタスクに効果的に適用されているか。→ 要求工学、ソフトウェアデザイン、ソフトウェア開発、品質保証、メンテナンス、管理。ソフトウェア開発で使われており、管理ではあまり使われていない。コード生成とプログラム修復が最もよくあるタスク。[22] Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task (2023)Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Vi〓gas, Hanspeter Pfister, Martin WattenbergHarvard U., etcLLMは、表面的な統計を単に記憶しているだけなのか、それとも系列を生成するプロセスの内部表現に頼っているのか。オセロでの正しい動きを予測するタスクに対してGPTを適用した。オセロのボードの状態を表す非線形な内部表現が現れることを見つけた。潜在顕現性マップを作った。[23] Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity (2023)Cunxiang Wang, Xiaoze Liu, Yuanhao Yue, Xiangru Tang, Tianhang Zhang, Cheng Jiayang, Yunzhi Yao, Wenyang Gao, Xuming Hu, Zehan Qi, Yidong Wang, Linyi Yang, Jindong Wang, Xing Xie, Zheng Zhang, Yue ZhangWetlake U., Perdue U., Fudan U., Yale U., etcLLMの事実性に関して。ここで事実性の問題とは、LLMが、確認された事実に反してコンテンツを生成する確率の問題と定義する。この問題の含意について野辺、次にLLMが事実を貯蔵し処理するメカニズムを分析する。そして、LLMの事実性を評価する方法について述べる。また、特定ドメインに向けてLLMの事実性を促進する戦略についても述べる。検索ベースとスタンドアロンと両方について議論している。[24] Evaluating Cognitive Maps in Large Language Models with CogEval: No Emergent Planning (2023)Ida Momennejad · Hosein Hasanbeig · Felipe Vieira Frujeri · Hiteshi Sharma · Nebojsa Jojic · Hamid Palangi · Robert Ness · Jonathan LarsonMSRここでは、CogEvalという、認知科学にインスパイアされた、LLMの認知能力をシステマティックに評価するプロトコルを提案する。そして、CogEvalに従って、8つのLLMの認知マップとプランニングの能力をシステマティックに評価する。[25] Auto-Regressive Next-Token Predictors are Universal Learners (2023)Eran MalachHebrew University自己回帰の次のトークン予測の理論的フレームワークについて述べる。線形な次のトークン予測器であっても、思考の連鎖データで訓練すれば、チューリングマシンで計算できるどんな関数も近似できることを示す。(要するに、データの側に仕込めるから。)[26] TidyBot: Personalized Robot Assistance with Large Language Models[27] Think before you speak: Training Language Models With Pause Tokens[29] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models[30] A Watermark for Large Language Models[31] Large Language Models as Optimizers[32] Towards Self-Assembling Artificial Neural Networks through Neural Developmental Programs[33] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics[34] Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection[35] Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification[36] Understanding Retrieval Augmentation for Long-Form Question Answering[37] Safe RLHF: Safe Reinforcement Learning from Human Feedback[38] On the duality between contrastive and non-contrastive self-supervised learning[39] Graph Neural Prompting with Large Language Models[40] AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation[41] Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging[42] ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs[43] Data-Centric Financial Large Language Models[44] Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input[45] Reasoning with Language Model is Planning with World Model[46] Human-like systematic generalization through a meta-learning neural network[47] Detecting Pretraining Data from Large Language Models[48] Can large language models provide useful feedback on research papers? A large-scale empirical analysis[49] Large Language Model Programs[50] Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models[51] Inferential Exclusion Prompting(IEP)[52] A Survey of Large Language Models (2023)[53] A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics (2023)[54] Continual Pre-training of Language Models (2023)[55] A Non-monotonic Self-terminating Language Model (2023)[56] Automatic Chain of Thought Prompting in Large Language Models (2023)[57] Language models are multilingual chain-of-thought reasoners (2023)[58] ReAct: Synergizing Reasoning and Acting in Language Models[59] Generate rather than Retrieve: Large Language Models are Strong Context Generators[60] Reward Design with Language Models[61] Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles[62] Provable Memorization Capacity of Transformers (2023)[63] Binding Language Models in Symbolic Languages (2023)[64] CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis[65] Mobile UI Understanding using Vision-Language Models with a Focus[66] MEDICAL IMAGE UNDERSTANDING WITH PRETRAINED VISION LANGUAGE MODELS: A COMPREHENSIVE STUDY[67] Progress measures for grokking via mechanistic interpretability[68] PLOT: Prompt Learning with Optimal Transport for Vision-Language Models[69] Ask Me Anything: A simple strategy for prompting language models (2023)[70] Planning with Large Language Models for Code Generation (2023)[71] Mind's Eye: Grounded Language Model Reasoning through Simulation (2023)[72] On Pre-training Language Model for Antibody (2023)[73] Language Models are Realistic Tabular Data Generators (2023)[74] Language Models Can Teach Themselves to Program Better[75] Compositional Task Representations for Large Language Models (2023)[76] Task Ambiguity in Humans and Language Models[77] Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning[78] Large Language Models are Human-Level Prompt Engineers (2023)[79] Progressive Prompts: Continual Learning for Language Models (2023)[80] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models[81] Bidirectional Language Models Are Also Few-shot Learners (2023)[82] PINTO: Faithful Language Reasoning Using Prompt-Gen
▽ACL 2015, 26-31 July 2015 | Beijing ●12/16 04:58 Be back soon! This website is under maintenance. Check back tomorrow! *If you窶决e the owner of this website and have questions, reach out to Bluehost. We窶决e happy to help.
▽ACL 2015 | Beijing ●12/15 23:24 Be back soon! This website is under maintenance. Check back tomorrow! *If you窶决e the owner of this website and have questions, reach out to Bluehost. We窶决e happy to help.
▽How to be logical ●09/22 00:09 Mathematics Class 引っ越しました 21/09/11 11:52 下のアドレスに引っ越しました。 http://members3.jcom.home.ne.jp/kantaro/Ja_zum_Leben_sagen/Blog/Blog.html How to be logical >